What Else Needs Fixing? Exploring Cost-Effective Test-Time Compute for Revision Propagation in Artifacts Generated Through Conversation
对话生成制品修订传播的低成本测试时计算探索
🧭 LLM 评估 · 修订传播与测试时计算
NTT, Inc.
提出对话生成制品的修订传播基准，评估九种测试时计算方法，三路并行采样+选择最具性价比
📌 工作参考价值（3 点）
- 在对话式商品推荐或营销文案生成中，用户只给出局部修改请求（如更换目标人群）时，容易造成预算、卖点、行程等字段不一致；可以把该工作的方法迁移进来：在修订 prompt 中显式让模型列出所有受影响字段或依赖关系，并做一次自检，确保局部改动被传播到所有相关部分。
- 测试时多采样+选择是低成本的准确率提升手段：生成 3 个候选修订，用 LLM-as-judge 或 medoid 选择最优，比单次生成或长链反思更划算，适合线上低延迟、低预算的 LLM 修订任务。
- 可以建立小规模“修订传播”评测集，模拟用户局部修改请求，检查模型是否同步更新关联字段，作为对话式推荐助手或内容生成引擎的离线回归评估。